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一 种 基于 DQN 的 无 人 轰 驶 任务 印 载 策略 
王 ” 锦 ， 张 新 有 ' 


(西南 交通 大 学 计算 机 与 人 工 智 能 学 院 , 成 都 611756) 


摘 要 : 无 人 驾驶 汽车 由 于 其 有 限 的 电池 寿命 和 计算 能 力 ， 难 以 在 保证 续航 的 前 提 下 满足 一 些 时 延 敏感 任务 或 密 
集 任 务 的 处 理 需求 。 为 解决 该 问题 ， 在 移动 边缘 计算 (mobile edge computing，MEC) 的 背景 下 ， 提 出 了 一 种 基于 深 
度 Q 网 络 (deep Q-network，DQN) 的 无 人 驾驶 任务 卸载 策略 。 首 先 ， 定 义 了 一 个 基于 任务 优先 级 的 “车 - 边 - 云 ” 协 
同 任务 纯 载 模型 ， 其 需要 通过 联合 优化 车 辆 计算 能 力 与 任务 卸载 策略 以 获取 系统 最 小 延迟 和 能 耗 。 由 于 该 问题 是 
个 混合 整数 非 线 性 规划 问题 ， 因 此 分 两 步 对 其 进行 求解 一 通过 数学 推导 得 出 了 最 优 车 辆 计算 能 力 的 解析 解 ， 之 后 
在 其 数值 固定 条 件 下 ， 基 于 DQN 算法 获得 了 任务 最 佳 趣 载 策略 。 最 后 ， 综 合 SUMO、Pytorch 和 Python 等 工具 建 
立 了 仿真 模型 ， 比 较 了 DQN 算法 和 其 他 三 种 算法 在 任务 负载 、MEC 服务 器 计算 能 力 以 及 能 耗 权 重 系 数 变化 情况 下 
的 性 能 ， 实 验 结 果 验 证 了 所 提 策 略 的 可 行 性 和 优越 性 。 
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DQN-based driverless task offloading policy 


Wang Jin, Zhang Xinyou' 
(School of Computing & Artificial Intelligence, Southwest Jiaotong University, Chengdu 611756, China) 


Abstract: Due to its limited battery life and computing power, driverless cars are difficult to meet the processing needs of 
some delay-sensitive tasks or intensive tasks while ensuring battery life. To solve this problem, in the context of Mobile Edge 
Computing (MEC) , this paper proposed an driverless task offloading policy based on deep Q-network (DQN) . First, this 
paper defined a "vehicle-edge-cloud" cooperative task offloading model based on task priority, which needs to jointly optimize 
the computing power of the vehicle and the task offloading policy to obtain the minimum delay and energy consumption of 
the system. Since the problem is a mixed-integer nonlinear programming problem and is NP-hard, this paper solved it in two 
steps—the first step obtained the analytical solution for the optimal computation power of vehicle through mathematical 
derivation, and then, under the fixed numerical value condition, the DQN algorithm obtained the optimal offloading strategy 
of the task. Finally, this paper established a simulation model by integrating tools such as SUMO, Pytorch and Python. This 
paper compared the DQN algorithm and the other three algorithms under different task loads, MEC server computation powers 
and energy consumption weight co-efficients. The experimental results verify the feasibility and superiority of the proposed 
policy. 
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0 引言 的 能 耗 ， 增 强 其 续航 能 力 中 ， 另 一 方面 可 以 提高 任务 处 理 效 
率 ， 减 少 任务 完成 时 延 。 本 文 引 入 三 层 网 络 架构 ， 和 车 辆 
近年 来 ， 无 人 驾驶 汽车 因 其 便利 性 和 行驶 效率 受到 了 业 ，” 层 、 边 缘 层 和 云层 ， 为 资源 受 限 的 车 辆 提供 了 多 元 的 外 
界 和 学 术 界 的 广泛 关注 023。 通 过 部 署 路 边 单元 RSU) 等 智能 。 载 选 择 。 无 人 车 可 以 根据 实际 情况 选择 在 本 地 处 理 自 身 
基础 设施 ， 车 载 用 户 可 以 获得 路 径 规划 、 导 航 、 车 载 娱 乐 等 ”的 任务 ， 也 可 以 将 任务 务 载 到 MEC 服务 器 或 云 服务 器 进 
多 种 服务 B43。 但 是 无 人 车 本 地 搭载 的 设备 计算 能 力 较 弱 且 。 ” 行 处 理 。 
电量 有 限 ， 因 此 ， 目 前 大 部 分 车 辆 将 计算 任务 卸载 到 云端 车 - 边 - 云 架构 下 的 任务 印 载 问题 可 以 归结 为 资源 受 限 条 
行 处 理 丫 。 云 服务 器 可 以 提供 大 量 的 计算 资源 ， 但 较 高 的 f 件 下 平衡 车 辆 、MEC 服务 器 和 云 服 务 器 的 任务 负载 以 获得 
输 时 延 使 时 延 敏 感 型 应 用 的 服务 质量 下 降 ， 甚 至 导致 交通 导 最 小 时 延 和 能 耗 的 联合 优化 问题 。 出 于 对 算法 稳定 性 和 可 靠 
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故 的 发 生 。 性 等 方面 的 考虑 ， 本 文采 用 一 种 基于 深度 Q 网 络 (DQN) 的 算 
MEC 的 出 现 为 无 人 驾驶 技术 的 发 展 提供 了 切实 有 效 的 ”法 来 解决 该 优化 问题 。 本 文 的 主要 贡献 点 包括 以 下 三 个 方面 : 
解决 方案 。 通 过 在 RSU 旁 部 署 MEC 服务 器 ， 将 计算 资源 、 a) 提出 了 一 种 基于 任务 优先 级 的 “车 - 边 - 云 ” 协 同 任务 


存储 资源 和 通信 资源 分 布 到 靠近 用 户 的 网 络 边缘 侧 史 ， 从 而 “外 载 模型 ， 其 需要 通过 联合 优化 车 辆 计算 能 力 与 任务 卸载 策 


降低 了 传输 时 延 。 但 是 如 果 将 所 有 任务 都 外 载 到 MEC 服务 各 以 获取 系统 最 小 延迟 和 能 耗 。 

器 上 ， 容 易 使 MEC 服务 器 出 现 过 载 的 状态 。 因 此 ， 无 人 车 b) 该 问题 是 一 个 混合 整数 线性 规划 问题 ， 是 NP-hard 的 。 

本 地 以 及 云 服务 器 依然 需要 处 理 部 分 计算 任务 。 忆 此 ， 为 了 降低 算法 复杂 度 ， 本 文 分 两 步 对 其 进行 求解 。 兰 
通过 任务 外 载 ， 将 计算 密集 型 的 任务 迁移 到 MEC 服务 。 先 ， 通 过 数学 推导 得 出 了 最 优 车 辆 计算 能 力 的 解析 解 ， 然 后 


和. 


在 其 数值 固定 条 件 下 ， 基 于 DQN 算法 获得 了 最 佳 的 任务 狠 


器 上 ， 一 方面 可 以 缓解 无 人 车 资源 紧张 的 情况 ， 减 少 无 人 
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录用 定稿 王 锦 ， 等 : 一 种 基于 DQN 的 无 人 驾驶 任务 卸载 策略 第 39 卷 第 9 期 
载 策 略 。 EE 
区 y 
c) 进行 了 综合 全 面 的 仿真 实验 ， 实 验 结果 证 明了 算法 2 ”系统 模型 
的 可 行 性 和 优越 性 。 本 节 首 先 介 绍 了 无 人 车 场景 下 任务 卸载 的 网 络 模型 、 通 
本 信 模 型 、 计 算 模 型 和 优先 级 模型 。 在 此 基础 上 ， 定 义 了 一 个 
1 ”研究 现状 a a Cd 攻 
通过 联合 优化 车 辆 计算 能 力 与 任务 卸载 策略 以 获取 系统 最 小 


任务 外 载 技术 通过 将 设备 计算 任务 卸载 到 边缘 节点 或 云 “延迟 和 能 耗 的 优化 问题 。 
服务 器 从 而 解决 设备 计算 资源 不 足 的 问题 。 目 前 ， 己 经 有 不 2.1 网 络 模型 
少 研究 人 员 致 力 于 研究 不 同 场景 下 多 用 户 MEC 任务 卸载 问 本 系统 包括 三 层 网 络 架构 ， 由 车 辆 层 、 边 缘 层 和 云层 组 
题 。 根 据 不 同 的 优化 目标 ， 之 前 的 研究 工作 可 分 为 如 下 三 类 : 成， 如 图 1 所 示 。 车 辆 层 包 括 了 所 有 在 道路 上 行驶 的 无 人 车 。 

a) 针对 时 延 的 优化 。 文 献 [8] 为 了 解决 多 云 环 境 下 任务 ”假设 每 一 辆 无 人 车 配备 了 双 无 线 电 接口 :802.11p 接口 (支持 
和 扼 载 过 程 复杂 、 响 应 时 间 长 等 问题 ， 提 出 了 一 种 基于 多 云 协 ” V2X 通信 ) 和 蜂 祝 网 络 接口 (例如 LTE-A)09， 车 辆 可 以 通过 
作 的 加 权 自 适应 惯性 权重 粒子 群 优化 算法 。 实 验 结果 表明 ， 802.11p 接口 与 RSU 进行 通信 。 边 缘 层 由 位 于 道路 旁 的 边缘 
与 非 协同 任务 卸载 方案 相 比 ， 该 方案 能 够 有 效 地 减少 任务 卸 ”节点 组 成 ， 其 中 每 个 边缘 节点 包括 RSU 以 及 配备 在 RSU 旁 
载 时 间 。 文 献 [9] 为 了 加 快车 联网 环境 中 任务 处 理 效率 ， 提 ” ”的 MEC 服务 器 。RSU 具有 一 定 的 通信 和 窗 盖 能 力 ， 可 以 用 来 
出 了 一 种 基于 AHP-DQN 的 任务 外 载 算法 ， 该 算法 利用 AHP 收集 车 辆 、 网 络 状 况 以 及 任务 的 相关 信息 。 云 层 包 含 云 服务 
将 车 辆 任务 进行 合理 划分 ， 并 根据 车 辆 实时 信道 增益 进行 扼 器， 无 人 车 通过 蜂窝 网 络 接口 与 基站 进行 通信 ， 基 站 通过 有 
载 决 策 的 部 署 。 最 后 通过 大 量 的 仿真 实验 证 明了 该 算法 能 够 。 线 链 路 与 云 服务 器 进行 连接 ， 从 而 将 无 人 车 的 任务 季 载 到 云 
降低 任务 处 理 时 延 。 但 该 方案 未 对 车 辆 计算 能 力 进行 优化 。 服务 器 上 。 
文献 [10] 为 了 解决 车 联网 环境 中 同时 考虑 MEC 服务 器 及 云 系统 中 存在 着 多 辆 有 计算 任务 的 无 人 车 ，MEC 服务 器 
服务 器 资源 分 配 的 卸载 问题 ， 提 出 了 一 种 基于 DQN 的 端 - 边 按照 一 定 的 时 间 周 期 为 所 有 车 辆 进行 卸载 调度 。RSU 集合 
- 云 抒 载 方案 。 并 通过 大 量 实验 证 明了 所 提 方 案 的 优越 性 。 定义 为 K={1,2,…,k}， 无 人 车 集合 定义 为 N={1,2,…,n}。 每 
但 该 方案 并 未 考虑 到 任务 分 类 以 及 任务 优先 级 问题 。 一 辆 无 人 车 都 有 计算 密集 型 任务 需要 及 时 处 理 ， 且 假设 计算 

b) 针对 能 耗 的 优化 。 文 献 [1H] 考 虑 在 价格 合理 的 嵌入 式 。 任务 是 不 可 分 的 。 因 此 ， 每 一 个 任务 要 么 在 本 地 执行 ， 要 么 
系统 上 同时 提供 多 种 自动 驾驶 服务 ， 设 计 了 一 个 用 于 实现 自 ”被 卸载 到 MEC 服务 器 或 云 服务 器 上 去 执行 。 当 任务 被 卸载 
动 驾 驶 机 器 人 和 和 车辆 服务 的 低 功 耗 边 缘 计算 系统 ， 它 可 以 在 到 MEC 服务 器 时 ， 由 于 车 辆 的 移动 性 ， 在 无 人 车 驶 出 RSU 
低能 耗 下 成 功 支 持 多 种 自动 驾驶 服务 。 文 献 [12] 考 虑 到 车 有 的 无 线 履 盖 范 围 并 且 任 务 没有 计算 完成 的 情况 下 ， 其 必须 被 
的 异 质 性 和 路 边 单元 的 影响 ， 建 立 了 一 个 考虑 异 构 车 辆 和  ” 务 载 到 云 服务 器 上 运行 。 为 了 便于 表述 ， 表 1 列 出 了 系统 模 
RSU 的 网 络 模型 ， 并 提出 了 一 种 算法 以 寻找 最 优 的 资源 分 。 型 的 部 分 符号 以 及 含义 。 
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配 策略 ， 实 验 表明 该 算法 能 较 好 地 降低 能 耗 。 表 1 关键 符号 
c) 针对 时 延 和 能 耗 的 优化 。 文 献 [13] 考 虑 了 一 般 类 型 的 Tab.1 Key symbols 

任务 计算 的 时 间 分 布 并 分 析 了 服务 器 排队 延迟 问题 ， 提 出 了 符号 含义 

种 基于 整数 线性 规划 (ILP) 的 算法 以 优化 系统 的 时 延 和 服 N 无 人 车 集合 
务 器 总 能 耗 ， 实 验 结果 证 明了 该 算法 的 有 效 性 。 文 献 [14] 针 K RSU 集合 
对 现 有 的 计算 模型 难以 满足 新 兴 应 用 对 低 延 迟 、 高 复杂 度 和 D 任务 数据 大 小 
高 可 靠 性 要 求 的 问题 ， 提 出 了 一 种 基于 服务 编排 的 云 -边缘 C 完成 任务 所 需 的 CPU 周期 数 
服务 器 协同 任务 介 载 算法 ， 该 算法 能 有 效 降 低 时 延 和 能 耗 。 T 最 大 容忍 延迟 
文献 [15] 为 了 最 小 化 资源 有 限 设备 的 任务 完成 时 延 和 能 耗 问 A 和 扼 载 决策 
题 ， 考 虑 到 设备 的 移动 性 与 任务 依赖 关系 的 基础 上 ， 提 出 了 p 车 辆 的 传输 功率 

种 基于 DQN 的 多 目标 任务 卸载 算法 ， 经 过 多 种 测试 场景 ， B, MEC 服务 器 的 上 行 信道 总 带宽 
验证 了 该 算法 的 有 效 性 。 但 该 方案 也 未 考虑 到 任务 分 类 以 及 Bre 无 人 车 与 云 服 务 器 之 间 的 上 行 信道 带宽 
任务 优先 级 问题 。 Vm 车 辆 n 到 MEC 服务 器 的 传输 速率 

以 上 工作 为 解决 设备 或 车 联网 背景 下 关于 不 同 优化 目标 Ve 车 辆 n 到 云 服务 器 的 传输 速率 

的 任务 卸载 问题 提供 了 可 行 的 解决 方案 ， 其 中 针对 时 延 和 能 gm 无 人 车 与 MEC 服务 器 之 间 的 信道 增益 
耗 的 模型 给 本 文 提供 了 良好 的 启示 。 然 而 ， 无 人 驾驶 汽车 电 ge 无 人 车 与 云 服务 器 之 间 的 信道 增益 
池 容 量 的 有 限 性 不 可 忽略 ， 车 辆 计算 能 力 需 进行 优化 从 而 降 No 噪声 功率 
低 无 人 轰 驶 汽车 的 能 耗 。 再 者 ， 无 人 车 的 高 速 移动 性 会 导致 大 第 n 辆 无 人 车 的 计算 能 力 
汽车 在 行驶 过 程 中 超出 MEC 服务 器 的 V2I 通信 范围 。 最 后 ， MEC 服务 器 的 计算 能 力 
无 人 和 驾驶 汽车 在 行驶 中 会 产生 各 种 类 型 的 任务 ， 如 与 行驶 有 大 云 服务 器 的 计算 能 3 
关 的 控制 指令 任务 或 与 娱乐 相关 的 任务 ， 不 同 任务 的 紧迫 性 P 车 辆 任务 的 优先 级 级 别 
有 所 不 同 。 关 于 设备 的 相关 文献 大 多 未 考虑 到 车 辆 的 移动 性 ” 2.2 通信 模型 
问题 ， 关 于 车 联网 的 相关 文献 大 多 未 考虑 到 任务 按照 优先 级 首先 引入 通信 模型 。 无 人 车 通过 无 线 信 道 将 任务 传输 到 


分 类 或 未 对 车 辆 的 计算 能 力 进行 优化 。 因 此 ， 以 上 外 载 方案 MEC 服务 器 。 根 据 香农 公式 ， 车 辆 n 到 MEC 服务 器 的 传输 
不 适合 无 人 轰 驶 场景 ， 目 前 关于 无 人 驾驶 场景 下 的 任务 外 载 。 速率 为 


问题 研究 较 少 。 2 
本 文 针 对 三 层 网 络 架构 下 的 无 人 驾驶 场景 ， 考 虑 了 无 人 i + 县 0) 
车 的 计算 能 力 优 化 、 移 动 性 问题 以 及 任务 按照 优先 级 分 类 等 下 


影响 因素 ， 在 此 基础 上 构建 了 一 个 新 的 任务 卸载 模型 ， 仿 真 Pp, 是 指 车 辆 n 的 传输 功率 。 B, 是 指 MEC 服务 器 的 上 行 
结果 验证 了 该 模型 的 合理 性 和 可 行 性 。 信道 总 带宽 。 NN 是 指 噪声 功率 。 8 是 指 无 人 车 与 MEC 服务 
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无 人 车 通过 无 线 信 道 将 任务 卸载 到 云 服务 器 。 根 据 香农 
公式 ， 车 辆 n 到 云 服 务 器 的 传输 速率 : 


Prge” 
.=B, log,| 1+ 
We 三 以。 ce | (2) 


B, 是 指 无 人 车 与 云 服务 器 之 间 的 上 行 信道 带宽 。 No 是 指 噪 
声 功率 。 g。 是 指 无 人 车 与 云 服务 器 之 间 的 信道 增益 。 


云层 
边缘 层 
| 车 辆 层 
4 人 雪上 
潭 vacmss 晤 -。 1 RsU 全 呈 由 器 Ap 无 线 信道 


图 1 网 络 模型 
Fig. 1 Network model 


2.3 ”计算 模型 
对 于 模型 中 第 n 辆 车 产生 的 计算 任务 RB, ， 可 以 用 一 个 三 
元 组 R={D,,G,,T} 进行 描述 。 其 中 ，D, 表示 无 人 车 n 的 任务 
数据 大 小 ，C, 表示 完成 任务 所 需 的 CPU 周期 数 ， 表示 BR 
的 最 大 容忍 延迟 。 设 4 为 卸载 决策 ，4=[a,w…,avw ]。 其 中 
a,am,as e{0,} 表示 BR 的 抒 载 选择 ， 其 中 
al,ar,as 分 别 表 示 RB, 是 否 在 本 地 、MEC 服务 器 或 云 服务 器 上 
运行 ， 若 值 为 1， 则 代表 在 其 上 运行 ， 反 之 则 不 是 。 并 且 任 
务 只 能 在 本 地 、MEC 服务 器 和 云 服 务 器 中 的 一 个 执行 ， 因 
此 ， 需 要 满足 约束 d+ar+as=1。 
2.3.1 本 地 计算 模型 
当 al=1 时 ， 表 示 任 务 在 本 地 执行 。 用 fe[0,fw] 表示 第 
n 辆 无 人 车 的 计算 能 力 ， 可 以 用 CPU 的 周期 频率 进行 描述 
(CPU 周期 /j)。 通 过 应 用 动态 电压 和 频率 缩放 技术 (DVFS)071， 
无 人 车 可 以 通过 调整 自身 每 个 周期 的 CPU 频率 来 平衡 执行 
时 间 和 能 耗 。 为 了 简单 起 见 ， 假 设 户 在 一 个 调度 周期 内 保 
持 不 变 。 因 此 ， 任 务 在 本 地 的 执行 时 间 为 
Tu = 大 (3) 
根据 参考 文献 [18]， 能 耗 与 频率 的 平方 成 正比 。 因 此 ， 
任务 在 本 地 运行 所 产生 的 能 耗 为 
已。 =kC, (1,) (4) 
k 是 功率 转换 系数 ， 取 决 于 微型 集成 电路 架构 ， 通 常 取 
k=107 。 
2.3.2 MEC 计算 模型 
当 史 =1 时 ， 表 示 任 务 被 卸载 到 MEC 服务 器 上 运行 ， 其 
对 应 的 传输 时 间 为 


屠 


4 = {0 ,ans} ， 


Ton Ty (5) 


假设 任务 的 计算 结果 非常 小 ， 因 此 从 MEC 服务 器 把 计 
算 结果 返回 给 无 人 车 的 时 延 和 能 耗 通常 包 略 不 计 吕 20。 
任务 在 MEC 服务 器 上 的 执行 时 延 为 


G, 
天 = 
fs (6) 
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器 之 间 的 信道 增益 。7 是 指 外 载 到 MEC 服务 器 上 的 任务 数 。 lj 所 表示 MEC 服务 器 的 计算 能 力 。 


段 设 MEC 服务 器 是 单 核 的 ， 一 次 只 能 执行 一 个 任务 ， 
所 以 卸载 到 MEC 服务 器 上 的 任务 需要 排队 。 当 一 个 任务 到 
达 MEC 服务 器 时 ， 它 将 首先 被 添加 到 等 待 队 列 中 。 在 队列 
中 ， 任 务 按照 优先 级 进行 排序 ， 相 同 优先 级 的 任务 按照 先后 
顺序 进行 排序 。 
本 文 用 表示 任务 的 数据 传输 开始 时 刻 ， 用 7. 表示 任 
务 的 数据 传输 结束 时 刻 。 用 工 , 表示 任务 的 计算 开始 时 刻 ， 
用 元 表示 任务 的 计算 完成 时 刻 。 因 此 可 以 得 到 : 

四 三 站 二 人 0) 

T=T, +T,, (8) 

只 有 前 一 个 任务 计算 完成 并 且 当 前 任务 传输 结束 时 ， 当 

前 任务 才能 开始 计算 。 公 示 表 示 如 下 : 
T, = max {Ts T} (9) 
其 中 7 是 指 前 一 个 任务 的 计算 完成 时 刻 。 任 务 在 MEC 服务 
器 上 的 等 待 时 间 为 计算 开始 时 刻 减 去 传输 结束 时 刻 ， 用 如 下 
公式 表示 : 


Tua, = 一 下 (10) 
此 ， 当 任务 被 外 载 到 MEC 服务 器 上 执行 时 ， 其 花费 
的 总 时 间 为 传输 时 间 加 上 执行 时 间 再 加 等 待 时 间 ， 用 如 下 公 
式 表 示 : 


六 | 


To, = Ta + Ta, + Tan, (11) 

由 于 车 辆 的 移动 性 ， 完 成 任务 所 花费 的 总 时 间 不 能 超过 

无 人 车 n 与 MEC 服务 器 之 间 的 连接 时 间 ,， 公 式 表 示 如 下 : 

TS (12) 

本 文 优化 的 是 无 人 车 所 产生 的 能 耗 ，MEC 服务 器 所 产 

生 的 能 耗 不 予 考虑 。 因 此 ， 不 考虑 任务 在 MEC 服务 器 上 执 

行 的 能 耗 ， 只 考虑 无 人 车 进行 任务 传输 时 产生 的 能 耗 ， 因 此 
总 能 耗 用 如 下 公式 表示 : 

Bs = Pi (13) 


2.3.3 云 计 算 模 型 
a) 直接 在 云 服 务 器 执行 的 情况 
当 必 =1 时 ， 表 示 在 云 服务 器 上 执行 此 任务 ， 其 被 认为 
拥有 无 限 的 资源 。 因 此 ， 和 忽略 任 务 在 云 服务 器 上 的 排队 ， 只 
考虑 对 应 的 传输 时 间 、 传 输 能 耗 和 在 其 上 的 计算 时 间 。 
在 云 服务 器 上 的 传输 时 间 如 下 : 


Tra = (14) 
在 云 服务 器 上 的 执行 时 间 为 
CG 

Te -了 (15) 
用 天 表示 云 服务 器 的 计算 能 


所 以 ， 在 云 服务 器 上 花费 的 总 时 延 为 
Wl (16) 
云 服务 器 产生 的 能 耗 依旧 不 予 考虑 ， 因 此 在 云 服务 器 上 
执行 产生 的 能 耗 仅 为 传输 能 耗 ， 即 : 

Eww, = paTro,, (17) 
b) MEC 服务 器 上 执行 未 完成 需要 御 载 到 云 服务 器 的 情况 
MEC 服务 器 作为 计算 服务 器 ， 可 以 通过 无 线 V2I 通信 

处 理 任务 。 由 于 车 辆 的 移动 性 ， 必 须 在 有 限 的 V2I 连接 时 间 

内 完成 任务 的 计算 。 当 任务 无 法 在 车 辆 与 MEC 服务 器 的 连 

接 时 间 内 计算 完成 时 ， 将 其 传输 到 云 服务 器 上 重新 执行 ， 而 

且 需 要 加 上 之 前 在 MEC 服务 器 上 浪费 的 时 延 和 能 耗 。 
关于 能 耗 方面 ， 因 本 文 只 对 无 人 车 的 能 耗 进行 优化 ， 

MEC 服务 器 执行 任务 所 产生 的 能 耗 不 予 考虑 ， 因 此 在 此 情 

况 浪费 的 能 耗 仅 为 无 人 车 将 任务 传输 到 MEC 服务 器 这 个 过 

程 所 产生 的 能 耗 ， 而 能 耗 与 时 间 有 关 ， 具 体 无 人 车 传输 任务 

所 花费 的 时 间 存 在 以 下 几 种 情况 。a) 未 将 任务 传输 完毕 ， 


202205.00064v1 


chinaXiv 


已 跑 出 当前 V2I 的 通信 范围 区 域 ， 与 当前 服务 器 的 连接 已 断 
开 ， 此 时 任务 在 MEC 服务 器 上 浪费 的 时 间 为 连接 时 间 。b) 
将 任务 全 部 传输 到 MEC 服务 器 时 ， 此 时 无 人 车 超出 V2I 通 
言 范围 ，MEC 服务 器 未 开始 进行 计算 ， 任 务 在 MEC 服务 器 
上 浪费 的 时 间 为 传输 时 间 也 是 连接 时 间 。c) 将 任务 全 部 传 
输 到 MEC 服务 器 ，MEC 服务 器 已 经 开始 计算 ， 但 是 计算 未 
完成 ， 此 时 无 人 车 超出 V2I 通信 范围 ， 任 务 在 MEC 服务 器 
上 浪费 的 时 间 为 传输 时 间 。 因 此 ， 任 务 在 MEC 服务 器 上 执 
行 浪费 的 时 间 为 传输 时 间 和 连接 时 间 的 最 小 值 : 


Ta = mm, Tn (18) 
所 以 在 MEC 服务 器 上 浪费 的 能 耗 用 如 下 公式 表示 : 
Ens 三 Too (19) 


在 云 服务 器 上 花费 的 总 时 延 为 与 MEC 服务 器 的 连接 时 


间 和 重新 传输 给 云 服务 器 消耗 的 时 间 之 和 ， 用 如 下 公式 进行 
表示 : 

Ts =D + To, + To (20) 

在 云 服务 器 上 花费 的 总 能 耗 为 浪费 的 能 耗 与 重新 传输 产 


moc, = Bera + Eun, (21) 
2.4 优先 级 模型 

本 系统 在 任务 秋 载 中 考虑 了 任务 的 紧迫 性 和 完成 率 ， 以 
满足 无 人 驾驶 的 性 能 需要 。 也 就 是 说 ， 它 决定 了 如 何 优 先 处 
理 具 有 较 高 紧迫 性 的 任务 ， 以 及 如 何 尽 可 能 多 地 完成 任务 。 
鉴于 无 人 驾驶 汽车 任务 的 特殊 性 ， 不 同 的 任务 具有 不 同 的 紧 
迫 性 ， 因 此 需要 对 它们 进行 分 类 。 本 文 将 这 些 任 务 根据 其 紧 
迫 性 分 为 三 个 级 别 ， 包 括 非常 重要 任务 、 重 要 任务 和 一 般 重 
要 任务 PCJ， 如 表 2 所 示 。 对 于 非常 重要 任务 ， 通 常 其 数据 量 
较 小 且 容 和 忍 时 延 较 短 PHU。 对 于 重要 任务 ， 通 常 其 数据 量 较 
大 且 容 忍 时 延 较 长 。 对 于 一 般 重 要 任务 ， 通 常 具备 很 高 的 时 
延 容忍 性 。 


表 2 车 辆 任务 的 优先 级 分 类 


Tab.2 Prioritization of vehicular tasks 


车 
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组 别 举例 特性 优先 级 
重要 任务 路 径 规划 、 防 撞 。 数据 量 小 、 容 忍 时 延 短 1 
重要 任务 ” 导航、 信息 服务 数据 量 较 大 、 容 忍 时 延 较 长 ”2 
一 般 重要 任务 音乐 、 视 频 、 游 戏 ”数据 量 大 、 容 忍 时 延长 3 


对 于 非常 重要 任务 ， 需 要 首先 为 其 提供 服务 ， 而 对 于 一 
般 重 要 任务 ， 可 以 最 后 为 其 提供 服务 。 定 义 车 辆 n 的 任务 优 
先 级 参数 为 P,Phe{l,2,3} 。 不 同 的 车 辆 任务 拥有 不 同 级 别 的 
优 
周 


ti 先 级 。 在 MEC 服务 器 队列 中 ， 本 文采 用 非 抢 占 式 优先 级 
调度 算法 为 队列 中 的 任务 进行 调度 。 
2.5 问题 的 公式 化 
本 文 将 完成 任务 所 花费 的 时 延 和 能 耗 的 加 权 和 定义 为 任 


务 的 总 开销 。 对 于 任务 RB, ， 其 时 延 成 本 表述 如 下 : 
T, = eT + ar (mT + (1—m) Ts ) + as Tw, (22) 
同样 ， 能 耗 成 本 可 以 表述 为 
E, = Bie, + ar ME, + (1 —m) Eno, ) + as Ec, (23) 
此 » 任 务 的 总 开 销 为 : =PD+thE, ， 失 中 


0<PBr <1,0<PBr <1Br+PBE=1。 pr 和 是 分 配给 时 延 和 外 
权重 系数 ，m=1 表 示 任 务 卸 载 到 MEC 服务 器 并 且 能 够 丰 
V2I 连接 时 间 内 顺利 完成 任务 。 
为 了 满足 不 同 用 户 的 特定 需求 ， 可 以 为 其 选择 不 同 的 时 
延 能 耗 权 重 系数 。 例 如 : 电池 容量 较 小 的 无 人 车 会 选择 更 大 
的 座 来 节约 更 多 地 资源 ;而 电池 容量 大 的 无 人 车 更 倾向 于 
选择 更 大 的 所 来 减 小 延迟 ， 获 得 更 好 地 体验 。 
该 系统 在 一 次 调度 周期 内 的 优化 问题 可 以 用 如 下 公式 表 
示 ， 其 中 4 代表 所 有 任务 的 务 载 选择 ， FE 代表 所 有 和 车辆 计 
算 能 力 的 集合 。 
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G=mindz, 

tells on dee a diel 

C2: T, zt neN (24) 

C3: 0<f,< fsvneN 

C4: me{0,1} 

C5: Pe{1,2,3} 
其 中 C1 表示 任务 在 本 地 、MEC 服务 器 或 者 云 服务 器 上 执行 ; 
C2 表示 完成 任务 BR 的 总 时 延 不 能 超过 任务 的 最 大 容忍 时 延 
5 ; C3 表示 车 辆 n 的 计算 能 力 不 能 超过 其 最 大 计算 能 
C4 表示 任务 是 否 在 MEC 服务 器 上 顺利 完成 ，C5 表示 任务 
的 优先 级 等 级 。 
3 ”算法 设计 

问题 (24) 可 以 通过 寻找 最 佳 的 伙 载 决策 变量 4 和 车 辆 的 
计算 能 力 F 来 解决 。 由 于 和 扼 载 决策 变量 4 是 一 个 离散 变量 
集合 ， 而 车 辆 的 计算 能 力 F 是 连续 变量 集合 ， 因 此 该 问 是 
为 混合 整数 非 线 性 规划 问题 ， 是 NP-hard 的 。 针 对 此 问题 ， 
本 文采 用 分 步 求解 来 解决 。 
3.1 车 辆 最 佳 计算 能 力 的 求解 
在 伙 载 决策 即 4 固定 的 情况 下 ， 优 化 目标 G 中 的 变量 

只 剩 下 车 辆 的 计算 能 力 F ， 而 只 会 影响 选择 在 本 地 运行 
的 任务 ， 在 MEC 服务 器 和 云 服务 器 中 运行 的 任务 所 产生 的 
时 延 和 能 耗 可 看 做 常数 C。 因 此 ， 问 题 (24) 中 的 优化 模型 可 


叫 


总 


A 


N 
G=min (PT + PEEwa, )+ C= 


mm + prc (£7 jc C5) 


Ta 


local, 一 


0<f,s fasvneN 
这 两 个 约束 条 件 又 可 推出 : 
psp (26) 


对 G 关 于 进行 求 导 并 令 G=0， 可 以 求 出 对 应 的 /， 
如 下 所 示 。 


sal 
= 28k (27) 


显然 ，G 在 [0.] 内 单调 递减 ， 在 [1,+%] 内 单调 递增 ， 
所 以 在 不 考虑 约束 条 件 即 式 26) 时 ， 方 为 车 辆 的 最 优 计算 
能 力 。 可 以 观察 到 ， 车 辆 的 最 优 计算 能 力 随 着 延迟 权重 的 增 
加 而 变 大 。 
但 因为 存在 约束 ， 且 车 辆 的 计算 能 力 不 一 定 能 满足 任务 
的 实时 性 要 求 ， 因 此 需要 分 情况 讨论 : 


C 
a) 当 导 > fa 时 
(8) 当 >fw 时 ， 刻 =f 时，G 最 小 。 
(0) 当 记 <fi 时 ，= 扩 时 ，G 最 小 。 
b) 当 全 < 时 


@ 当 记 全 时 ， 此 时 G 在 | 多 ,| 单调 递增 ， 所 以 


G, 
hh = 时 ，G 最 小 。 


人 ) 当 至 < 万 < 加 时 ， 此 时 大 = 庆 时 ，G 最 小 。 


(© 当 所 >f 时 ， 此 时 G 在 | 多 ,| 单调 递 碱 ， 所 以 


fa = finax 时 ， G 最 小 。 


卸载 决策 ， 


对 应 


录用 定稿 
3.2 基于 DQN 的 任务 卸载 算法 

本 小 节 设 计 ] 于 DQN 的 算法 来 解决 无 人 驾驶 汽 
车 的 任务 撮 载 决策 问题 。 在 本 场景 中 ，DQN 的 三 要 素 包括 


状态 、 动 作 和 奖励 函数 。 


a) 状态 空间 


最 大 计算 能 力 和 传输 


务 器 的 上 行 信道 总 带 


的 状态 ”下 获得 


了 关 ， 且 本 文 的 优化 


要 的 性 能 
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: 状态 是 用 来 反映 环境 的 ， 它 由 车 辆 、 任 
务 和 MEC 服务 器 的 相关 信息 组 成 。 用 5={s,s5,5,…,5,,…} 表 
示 整 个 系统 的 状态 空间 ，8% 为 第 n 辆 车 的 系统 状态 ， 

ojaospoDCnBjMou ， 其 中 fr 和 ps 分别 表示 车 辆 有 
速率 ，D,,G,,5 分别 表 示 任 务 的 数据 量 、 
所 需 计 算 资 源 和 最 大 容忍 延迟 ，B, 记 ,Mow, 分 别 表示 MEC 有 
宽 、MEC 服务 器 的 计算 能 力 和 MEC 月 
因为 MEC 服务 器 依次 为 所 有 任务 制 

且 之 前 任务 的 卸载 选择 会 影响 之 后 任务 的 卸 
选择 ， 所 以 本 节 将 MEC 服务 器 当前 负载 情况 也 作为 状态 的 
一 部 分 。 
b) 动作 空间 : 动作 表示 任务 的 卸载 决策 ， 即 任务 在 本 
地 、MEC 服务 器 或 者 云 服 务 器 上 执行 的 选择 。 定 义 系统 
动作 空间 为 A={@y@y0350} 。 ={ah,ar,as} ， 其 中 
al,a”,as 分 别 表示 任务 在 本 地 、MEC 服务 器 和 云 服 务 器 的 色 
载 决策 。 
c) 奖励 函数 : agent 执行 一 个 动作 w 之 后 ， 会 在 该 动作 
励 ,。 一 般 来 说 ， 奖 励 函数 和 优化 目 


标 是 最 小 化 系统 的 总 成 本 ， 
奖励 函数 六 与 -2 相关。 此外， 任务 的 完成 率 也 是 一 个 很 
指标 ， 因 此 ， 本 文 将 其 也 作为 奖励 函数 的 一 部 分 。 


任务 未 能 在 最 大 容忍 延迟 内 完成 时 ， 应 该 对 它 进 行 惩罚 ， 


四国 I 


一 
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比 最 终 奖 励 函 数 定义 为 
-BiT, + PrE,) Tg, 
-PBT +BEE)-(T, -rm) TD,>n, 
在 定义 了 以 上 三 个 关键 要 素 之 后 ， 基 于 DQN 的 无 人 轰 
MEC 服务 器 为 DQN 算法 的 agent， 
励 与 环境 进行 交互 。 当 agent 收 到 车 
居 当 前 环境 状态 为 该 车 辆 寻找 最 佳 外 
即 动作 ， 之 后 将 动作 的 取 值 返回 给 车 辆 。 车 辆 执行 
动作 后 ，agent 会 收 到 执行 该 动作 得 到 的 奖励 。 


F 务 卸载 过 程 如 下 : 
其 通过 状态 、 动 作 和 奖 
辆 的 卸载 请 求 时 ， 将 根 


传统 的 Q-learning 算法 使 用 Q-table 来 存储 每 个 时 刻 的 


状态 、 动 作 下 所 获得 的 Q 值 0(s,4) ，agent 通 


寻找 在 当前 状态 下 可 以 获得 最 大 奖励 的 动作 。 然 而 ， 随 着 状 
态 空 间 和 动作 空间 的 增加 ， 存 储 Q-table 所 需 


速 增 力 
F 销 。 
本 文 使 用 DQN 算法 来 解决 上 述 问题 。DQN 采用 神经 网 
络 来 估计 不 同 状态 -动作 组 
保持 训练 的 稳定 
术 以 及 双 网 络 机 制 。 经 验 
产生 的 一 条 条 数据 存 入 到 经 验 池 D 中 ， 并 在 后 面 的 训练 中 
从 经 验 池 D 中 随机 采样 小 批量 数据 进行 网 络 的 更 新 。 双 网 络 


联 性 以 及 


1， 因 此 会 号 


合 下 的 Q 值 。 为 了 打破 数据 的 关 


性 ，DQN 算法 加 入 了 经 验 回 放 技 


可 放 是 指 将 agent 与 环境 互动 过 程 


当前 六 
态 对 应 动作 的 Q 值 。 首 
一 个 容量 大 小 确定 的 经 验 
n， 算 法 将 状态 5 输入 到 


得 到 对 应 奖励 。 
轨迹 (5,,4,， 
经 验 池 DD 


是 指 通过 引入 评价 网 络 2” 以 及 目标 网 络 2" ， 评 价 网 络 和 
目标 网 络 的 参数 分 别 为 ge 和 9“ 。 其 中 评价 网 络 用 来 评估 
态 下 每 一 个 动作 的 Q 值 ， 目 标 网 络 用 来 计算 下 一 个 状 
E， 随 机 初始 化 9% 和 gw" ， 并 创建 
池 D。 对 于 episode 内 的 当前 step 
评价 网 络 中 以 获得 每 个 动作 对 应 的 
概率 ， 并 根据 动作 概率 使 用 Categorical 函数 选择 动作 w ， 


卉 进入 下 一 个 状态 ws ， 并 将 经 验 


,sam) 作为 一 条 数据 存 入 经 验 池 D 中 。 最 后 ， 从 
FPF 随机 选择 小 批量 的 数据 进行 评价 网 络 的 更 新 ， 
在 C 步 迭代 后 ， 将 评价 网 络 的 参数 同步 给 目标 网 络 。 其 中 ， 


a 


Fa RI 史 


定 
载 


的 


因此 考 


(28) 


过 遍历 Q-table， 


的 内 存 空 间 迅 
致 更 新 和 搜索 Q-table 时 花费 很 大 的 时 间 


目标 Q 网 络 的 值 的 计算 公式 如 下 所 示 。 

2 = +ymax QO (ssa'; 0" ) (29) 
使 用 均 方 误差 J 作为 算法 损失 函数 ， 并 通过 梯度 下 降 
算法 P3] 来 最 小 化 该 损失 ， 损 失 函 数 的 定义 如 下 所 示 。 
Loss= 3(@ -QO (s,a;0")) (30) 


以 下 为 DQN 算法 的 详细 步骤 : 
算法 1 DQN 算法 


输入 : 评价 网 络 Q” ， 参 数 9% ， 目 标 网 络 Q”， 参 数 g“ ， 经 验 
池 D， 当 前 状态 w 
输出 : 动作 a 


1 随机 初始 化 评价 网 络 和 目标 网 络 的 参数 2” 和 0%",， 0% =0w 
2 初始 化 大 小 为 N 的 经 验 池 D 

3 ， for each episode k=1 to K do 

4 for each step n do 

5 获取 当前 的 状态 5 

6 通过 Categorical 函数 获取 当前 的 动作 
7 计算 奖励 并 观察 下 一 个 状态 wa 
8 

9 


把 (was ) 作为 一 条 数据 存 入 经 验 池 D 中 
从 经 验 池 D 中 随机 选取 小 批量 的 数据 


16 if sn 是 最 终 状 态 then 

11 Q'=n 

12 else 

13 Q'=%+7ymax OO” (sn,a';0") 
14 endif 


15 根据 式 (36) 计 算 损 失 函 数 Loss， 并 使 用 梯度 下 降 法 更 新 评 
价 网 络 的 参数 ge 
16 C 轮 迭 代 之 后 复制 参数 0% 来 更 新 目标 网 络 参数 gw 
17 end for 
18 end for 
4 ”性 能 评估 
在 本 节 中 ， 首 先 对 实验 平台 以 及 数据 集 进行 简要 说 明 。 
本 实验 使 用 Intel(R) Core(TM) i5-10210U CPU，16GB RAM,，, 
1.6GHz 的 个 人 计算 机 开发 ， 所 有 的 实验 环境 均 使 用 
python3.7 和 pytorch1.5.0 实现 。 地 图 取 自 西安 市 区 5km*5km 
大 小 的 区 域 ， 车 辆 轨迹 由 开源 道路 交通 仿真 软件 SUMOP94 
生成 。 
4.1 参数 设置 
实验 中 ， 设 置 了 1 个 MEC 服务 器 ， 其 V2I 的 通信 半径 
为 500 米 。 无 人 车 的 数量 随 着 时 间 的 推移 逐渐 增多 ， 每 一 辆 
无 人 车 在 一 个 调度 周期 内 至 多 产生 一 个 任务 ， 任 务 产生 概率 
为 0.6。 任 务 有 三 种 不 同 的 优先 级 ， 参 照 文 献 [25-27] 对 三 种 
任务 进行 参数 设置 。 其 中 ， 第 一 优先 级 任务 到 第 三 优先 级 任 
务 的 数据 量 大 小 分 别 在 [200,300]KB 、[400,500]KB 和 
[700,800]KB 内 随机 选取 ， 所 需要 的 计算 资源 分 别 在 
[50,80]M CPU cycles、 [150,180]M CPU cycles 和 [250,280]M 
CPU cycles 内 随机 选取 ， 最 大 容忍 时 延 分 别 为 150ms、 
200ms 和 350ms。 无 人 车 的 最 大 计算 能 力 为 1.5G CPU cycle/s， 
传输 功率 为 230mW 。 信 道 增益 在 [1,2] 范 围 内 随机 选取 。 
MEC 服务 器 的 带宽 为 50OMHz， 计 算 能 力 为 4.5GHz。 云 服务 
器 的 带宽 为 10MHz， 计 算 能 力 为 1.5GHz。 除 此 之 外 ，MEC 
服务 器 每 隔 2s 为 车 辆 进行 一 次 任务 介 载 调度 。 
在 算法 实现 方面 ， 参 考 文献 [28]，DQN 算法 的 网 络 结构 
和 超 参数 设置 为 : Q 网 络 的 层 数 为 5 层 ， 隐 藏 层 神经 元 数量 
为 128。 学 习 率 和 折扣 系数 分 别 为 0.01 和 0.95。 经 验 池 的 大 
小 设置 为 100，batch 大 小 为 20。 
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4.2 ”对 比 实验 
本 文选 择 全 本 地 、 全 MEC 服 
务 务 载 算法 与 DQN 算法 进行 对 比 ， 
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这 是 因为 MEC 服务 器 计算 能 力 的 变化 不 会 对 无 人 车 的 计算 
能 力 产生 影响 。 随 着 MEC 服务 器 计算 能 力 的 增 大 ， 其 他 三 


务 器 和 随机 三 种 常用 的 任 
将 目标 值 ( 时 延 和 能 耗 


的 总 成 本 )、 时 延 、 能 耗 以 及 完成 率 作 为 评价 指标 。 三 种 对 


比 算法 的 介绍 如 下 : 


a) 全 本 地 执行 :任务 全 部 在 无 人 车 本 地 执行 。 
b) 全 MEC 服务 器 执行 ， 任务 全 部 被 卸载 到 MEC 服务 


器 上 执行 。 


c) 随机 色 载 :任务 随机 选择 在 无 人 车 本 地 、MEC 服务 


器 或 云 服务 器 上 执行 。 
4.3 仿真 结果 
图 2 显示 了 调度 次 数 为 18500 


次 时 累计 平均 奖励 的 收敛 


线 图 ， 可 以 看 出 ， 在 一 定量 的 训 
的 任务 外 载 算法 能 够 实现 稳定 的 收 


| 练 步 数 之 后 ， 基 于 DQN 
敛 。 原 因 之 一 是 DQN 算 


法 在 与 环境 的 多 次 交互 中 ， 充 分 对 
基础 上 学 习 到 了 适合 的 任务 务 载 策 


环境 进行 了 探索 ， 并 在 此 
略 。 另 外 一 个 原因 则 是 经 


验 池 的 使 用 能 够 有 效 地 降低 样本 数据 之 间 的 关联 性 ， 提 高 算 
法 的 稳定 性 ， 使 算法 更 容易 收敛 。 
0.1107 -一 DQN 
本 
图 2 累计 平均 奖励 收敛 曲线 图 


Fig.2 Convergence Curve of Cumulative Average Reward 


DQN 算法 和 其 他 三 种 对 比 算法 在 
其 中 ， 无 人 车 请 求 任务 卸载 的 概率 


图 3 通过 改变 每 一 辆 无 人 车 任务 产生 的 概率 ， 比 较 了 


不 同 任务 负载 下 的 性 能 ， 
在 0.3 到 0.9 之 间 变 化 。 
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种 算法 的 目标 值 和 延迟 随 之 减 小 
服务 器 的 计算 能 力 无 关 ， 所 以 基本 呈 一 条 水 平 线 。 此 


MEC 


且 完 成 率 增加 ， 而 能 耗 与 


外 ， 在 所 有 的 策略 中 ，DQN 算法 的 


标 值 、 延 迟 以 及 能 


都 是 最 小 的 ， 其 完成 率 表 现 也 较 好 ， 与 全 本 地 执行 相差 不 大 。 
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图 4 


法 在 不 同 MEC 服务 器 计算 能 力 下 的 性 


能 对 比 图 


Fig. 4 Performance comparison of algorithms under different 


computation capabilities of MEC server 


图 5 比较 了 外 


以 看 出 ， 无 论 在 哪 种 权重 情况 下 ，DQN 


E 耗 权重 系数 对 评价 指标 的 影响 。 从 图 中 可 


最 小 


与 全 本 地 算法 的 时 延 逐渐 
技术 倾向 于 减弱 车 辆 的 计算 能 力 ， 从 i 
而 ， 由 于 全 MEC 月 


以 其 时 延 、 
权重 系数 的 


能 耗 条 


的 。 随 着 能 耗 权 重 系数 的 增 大 ， 
曾 大 ， 能 耗 逐 渐 降低 ， 说 明 DVFS 


算法 的 目标 值 都 是 
DQN 算法 、 随 机 算法 


降低 车 辆 的 能 耗 。 然 


R 务 器 执行 不 受 车 辆 计算 能 力 的 影响 ， 所 
1 完成 率 接近 一 条 水 平 线 。 


此 外 ， 随 着 能 


曾 大 ， 全 本 地 执行 的 完成 率 较 其 


从 图 中 可 以 看 出 ， 除 全 本 地 执行 外 ， 随 着 任务 负载 的 增加 ， 
其 他 三 种 算法 的 目标 值 、 时 延 和 能 耗 都 会 变 大 并 且 完 成 率 降 
低 。 然 而 ， 由 于 全 本 地 执行 与 任务 卸载 概率 的 关联 性 不 大 ， 
所 以 评价 指标 接近 一 条 水 平 线 。 此 外 ， 在 所 有 的 算法 中 ， 
DQN 算法 的 目标 值 、 延 迟 以 及 能 耗 都 是 最 小 的 ， 并 且 其 完 
成 率 也 较 高 ， 与 全 本 地 执行 相差 不 大 。 
220 ‘ 了 
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图 3 算法 在 不 同 任务 负载 下 的 性 能 对 比 图 


Fig.3 了 Performance comparison of algorithms under different task loads 


性 能 。 


通过 观察 ， 全 本 地 执行 的 四 


图 4 比较 了 四 种 算法 在 不 同 MEC 服务 器 计算 能 力 下 的 


种 评价 指标 持 一 条 水 平 线 ， 


明显 ， 这 是 因为 车 软 


有 关 。 当 能 耗 权 习 


系数 增 大 时 ， 车 加 


他 三 种 策略 降低 


计算 能 力 的 取 值 与 延迟 能 耗 的 权重 系数 


计算 能 力 会 随 之 减弱 ， 


导致 有 些 任务 在 最 大 容忍 延迟 内 无 法 完成 。 
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图 5 算法 在 不 同 能 耗 权 重 系 数 下 的 性 能 对 比 图 


Fig.5 Performance comparison of algorithms under different weight 


coefficients of energy consumption 
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本 文 考虑 到 车 辆 的 计算 能 力 优 化 、 移 动 性 问 人 
的 优先 级 分 类 等 因素 ， 提 出 了 一 个 无 人 驾驶 场景 下 的 基于 车 
- 边 - 云 三 层 网 络 架 构 的 任务 卸载 模型 ， 其 需要 通过 联合 优化 
车 辆 计算 能 力 与 任务 卸载 策略 以 获取 系统 最 小 延迟 和 能 耗 。 
于 该 问题 是 一 个 混合 整数 非 线性 规划 问题 ， 为 了 降低 算法 
的 时 间 复 杂 度 ， 本 文采 用 分 步 求解 ， 首 先 推导 出 了 车 辆 计算 
能 力 的 最 优 值 ， 然 后 使 用 DQN 算法 来 获得 任务 的 最 佳 扼 载 
决策 。 最 后 ， 通 过 大 量 的 仿真 实验 验证 了 所 提 策 略 的 可 行 性 
和 优越 性 。 在 未 来 的 工作 中 ， 将 考虑 相 邻 RSU 之 间 的 切换 
问题 ， 另 外 将 缓存 技术 加 入 到 任务 卸载 架构 中 ， 以 进一步 降 
低 任务 的 处 里 时 延 和 计算 能 
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